想买边缘计算盒子跑 AI 推理，打开规格表——有的写“AI算力 5 TOPS”，有的写“峰值算力 20 TOPS”，有的写“深度学习加速能力 2.5 TFLOPS”。数字差了好几倍，价格也差了好几倍。到底怎么看？什么样的算力才够用？
很多人在这里被绕晕了。买了“20 TOPS”的盒子回来，跑 7B 模型卡得要死；买了“5 TOPS”的盒子，跑视觉识别却飞快。问题出在哪？TOPS 不等于 TOPS——不同的算法、不同的精度、不同的场景，对算力的需求完全不同。
这是边缘盒子最核心的指标，也是最容易被忽悠的指标。
TOPS 是什么？
TOPS = Tera Operations Per Second（每秒万亿次操作）
衡量 AI 芯片在整数运算（INT8）上的处理能力
数值越高，单位时间内能完成的 AI 推理计算越多
但 TOPS 不是越大越好，关键看你能用到多少。
| 应用场景 | 推荐 TOPS | 代表型号 | 说明 |
|---|---|---|---|
| 智能安防（1~2 路人脸识别） | 2~4 TOPS | 瑞芯微 RK3588（6 TOPS） | 轻量级 CNN 模型，算力要求低 |
| 客流统计 / 零售分析（4~8 路） | 8~15 TOPS | 英伟达 Jetson Orin Nano（20 TOPS） | 中等模型 + 多路视频处理 |
| 工业视觉检测（高精度） | 15~30 TOPS | 英伟达 Jetson Orin NX（40~100 TOPS） | 复杂目标检测模型 |
| 本地大模型推理（7B~13B） | 10~50 TOPS | AMD 锐龙 AI 方案 | 需要大内存 + 高算力 |
| 多路视频 + 大模型同时跑 | 50+ TOPS | 工业级高端盒子 | 高负载并发场景 |
关键认知：
TOPS 是峰值算力，实际持续算力通常只有峰值的 60%~80%
不同精度下算力不同：INT8 算力 > FP16 算力 > FP32 算力
只看 TOPS 不看内存，等于买了辆跑车但油箱只有 5 升
算力决定“跑多快”，内存决定“能不能跑”。
| 内存容量 | 可跑模型 | 典型设备 |
|---|---|---|
| 4~8GB | 轻量 CNN（人脸检测、分类） | 入门级边缘盒子 |
| 8~16GB | 7B 模型 Q4 量化 | 中端 AI 盒子 |
| 16~32GB | 7B~13B 模型 Q4 | 高端 AI 盒子 / Jetson Orin |
| 32GB+ | 30B 模型 Q4 | 旗舰级设备 |
选型要点：
跑视觉识别（YOLOv5/v8）：8~16GB 足够，算力比内存重要
跑大语言模型（7B+）：内存比算力更重要——算力可以慢一点，内存不够直接加载不了
内存带宽（LPDDR4 vs LPDDR5 vs LPDDR5x）影响核显和 NPU 的发挥
边缘盒子不是单独工作的，它需要连接摄像头、传感器、网络、控制器。
| 接口 | 用途 | 重要性 |
|---|---|---|
| 千兆网口（数量） | 接摄像头 / 上联网络 | ⭐⭐⭐⭐⭐（至少 2 个） |
| PoE 供电（网口） | 给摄像头供电 | ⭐⭐⭐⭐（简化布线） |
| USB 3.0 | 接扩展设备 | ⭐⭐⭐⭐ |
| HDMI | 调试 / 本地显示 | ⭐⭐⭐ |
| RS232 / RS485 串口 | 接工业传感器 / PLC | ⭐⭐⭐（工业场景必须） |
| GPIO / CAN | 接继电器、报警灯、设备控制 | ⭐⭐⭐（特定场景） |
| WiFi / 蓝牙 | 无线连接 | ⭐⭐（可选） |
选型要点：
做安防监控：至少 2 个网口（一个接摄像头局域网，一个接外网）
做工业检测：需要串口（RS232/485）连接 PLC 做控制
连锁门店：需要支持云端远程管理（非接口层面，是软件层面）
边缘盒子可能放在空调房，也可能挂在户外、塞进弱电井、固定在产线机柜。
| 参数 | 办公级 / 消费级 | 工业级 / 边缘级 |
|---|---|---|
| 工作温度 | 0~40℃ | -20~60℃ |
| 防护等级 | IP40（防大颗粒物） | IP50~IP67（防尘防水） |
| 散热方式 | 风扇主动散热 | 无风扇被动散热 |
| 电源输入 | 固定 DC 适配器 | 宽压 DC（9~36V） |
| 安装方式 | 桌面 / 挂架 | DIN 导轨 / 壁挂 |
选型要点：
放办公室或有空调的机房 → 办公级足够
放产线、室外、弱电井 → 必须工业级
工业级通常比办公级贵 30%~50%，但可以避免夏天降频、冬天关机、灰尘短路的问题
硬件选对了，但软件适配不上——这是很多边缘盒子项目翻车的“隐形杀手”。
必问清单：
预装什么操作系统？（Ubuntu / Linux / 国产 OS）
是否预装 AI 推理框架？（Ollama / TensorFlow / ONNX Runtime / PyTorch）
是否提供 SDK 和 API 文档？
社区支持如何？（遇到问题能不能查到解决方案）
是否有云端管理平台？（批量配置、状态监控、OTA 升级）
选型要点：
有完整 SDK 和文档的盒子，开发周期可缩短一半以上
开源社区活跃的芯片平台（如英伟达 Jetson、瑞芯微），碰到问题更容易找到解决方案
商业项目批量部署，建议要求供应商提供交钥匙服务（出厂预装系统 + 模型，插电即用）
回到一开始的问题——为什么“20 TOPS”的盒子跑起来还不如“5 TOPS”的？
AI 推理可以用不同精度来做，精度越低，算力越高：
| 精度 | 说明 | 适用场景 |
|---|---|---|
| INT8 | 整数 8 位，算力最高，精度略低 | 绝大多数推理场景 |
| FP16 | 半精度浮点，算力中等，精度中等 | 精度要求较高的推理 |
| FP32 | 单精度浮点，算力最低，精度最高 | 训练 / 高精度计算 |
关键：很多厂商用 FP16 或 BF16 的算力数字做宣传，看起来很高，但你实际跑模型用的是 INT8——差距可能接近一倍。看规格时一定要确认是哪个精度的 TOPS。
买之前问销售：你说的是 INT8 算力还是 FP16 算力？——这个问题能帮你识别至少一半的“注水”宣传。
芯片规格上的 TOPS 通常是峰值算力——理论最大，但实际运行中因为散热、供电、调度策略，能持续跑到的可能只有峰值的 60%~80%。
| 算力类型 | 含义 | 占比 |
|---|---|---|
| 峰值算力 | 芯片理论最大 | 100% |
| 持续算力 | 实际长期运行可达 | 60%~80% |
| 有效算力 | 扣除调度开销后 | 50%~70% |
问法：持续运行 1 小时后，实际能跑多少 TOPS？
这是最常见的组合踩坑。
| 情况 | 结果 |
|---|---|
| 算力高、内存小 | 模型能跑得快但加载不了大模型 → 算力浪费 |
| 算力低、内存大 | 大模型能加载但跑得慢 → 内存浪费 |
| 算力高、内存大 | 最优组合 |
核心原则：算力和内存应该“门当户对”。买盒子时先确定要跑的模型大小（决定内存需求），再反推需要的算力。
A：可以按这个粗略公式估算：算力需求（TOPS）≈ 模型算力需求（GFLOPS）× 帧率（FPS）× 路数 ÷ 1000。以 YOLOv5s 为例，单次推理约需 4~6 GFLOPS（INT8），4 路 10 FPS 约需 4×10×6×4÷1000 ≈ 1 TOPS，加上余量建议选 3~5 TOPS 以上。大语言模型则按参数规模判断——7B Q4 模型建议 5~10 TOPS，13B Q4 建议 10~20 TOPS。
A：不一样。实际推理速度还受内存带宽、模型优化程度、软件栈调度效率影响。同样 20 TOPS 的芯片，A 品牌可能跑 7B 模型 15 tokens/秒，B 品牌可能只有 10 tokens/秒。建议参考实测数据而不是只看 TOPS。
A：基本概念类似，但实际体验差异很大。云端 GPU（如 A100）算力是边缘盒子（Jetson 或嵌入式 NPU）的几十倍，但功耗和成本也是几十倍。边缘 TOPS 是“够用 + 省电”，云端 TFLOPS 是“极速 + 费钱”。
A：不能。边缘盒子的 AI 芯片是焊死在主板上的，无法单独升级。所以选型时建议留出 30%~50% 的算力余量，避免 1~2 年后模型升级就跑不动了。
A：取决于你的需求：
追求生态成熟、开发省心 → 英伟达 Jetson（CUDA 生态，社区资源丰富）
追求性价比、国产合规 → 国产 NPU 方案（如瑞芯微、华为昇腾、AMD 锐龙 AI）
华一精品可提供多种平台方案，根据客户需求定制
第一步：明确应用场景
跑什么模型？（YOLO / LLM / 分类模型）
几路输入？（摄像头数量 / 传感器数量）
什么环境？（室内 / 室外 / 工业现场）
第二步：确定核心参数
内存需求 → 根据模型大小确定
算力需求 → 根据模型 + 路数 + 帧率确定
接口需求 → 根据外设清单确定
环境需求 → 根据安装位置确定温度/防护等级
第三步：选供应商，要样机实测
让供应商提供样机，用你自己的模型和数据实测
连续运行 72 小时以上，确认不降频、不卡顿
确认批量供货周期和售后支持
华一精品科技有限公司（品牌 Adreamer）
14 年智能硬件 ODM 经验 | 国家高新技术企业 | 广东省专精特新中小企业
5000+㎡ 自有工厂 | 50+ 研发团队 | ISO9001/14001/BSCI 认证
地址：中国广东深圳市龙岗区宝龙三路 16 号宝龙专精特新产业园 3 栋 3-403
主营：AI 边缘计算盒子、AI 迷你 PC、AI 智能眼镜等智能硬件 ODM/OEM
算力看懂了，边缘盒子就会选了。
